Agent 降本三板斧 Prompt Caching 语义缓存 模型路由
某 fintech 团队的 Agent 在 50 个用户时月账单 5000 美元,扩到 500 用户变成 15000 美元后,项目直接被砍。Gartner 的预测更狠:超过 40% 的 agentic 项目会在 2027 年底前因为成本被叫停。
Agent 天生烧钱——一个 agentic workflow 比单次聊天多耗 5 到 30 倍 token,多 Agent 系统能到 500 倍。更反直觉的是:token 单价一年降了 67%,但 73% 的企业依然超预算(Jevons 悖论——越便宜用得越多)。
一句话概括:降本不是换个便宜模型那么简单,而是三板斧叠成一条流水线——语义缓存直接跳过调用、模型路由把请求送给最便宜的能干模型、Prompt Caching 折扣必然发生调用的输入成本。单招省 20-30%,三招叠加常达 50-70%。
这篇把三招讲透:各自的机制、真实定价数字、什么时候有效什么时候反而更贵,以及组合顺序。配一个完全离线的 Go demo,三招的省钱算法都能亲手跑出来。
一、先看清:三招攻击的是不同的成本源
很多人把这三个混为一谈,其实它们在完全不同的层:
| 招式 | 在哪一层 | 省什么 | 命中后 |
|---|---|---|---|
| 语义缓存 | 应用/客户端侧 | 消除整个 LLM 调用 | 调用根本不发生 |
| 模型路由 | 应用侧 | 把请求送到最便宜可用模型 | 调用发生,但用便宜模型 |
| Prompt Caching | Provider 侧 | 降低输入 token 成本(前缀复用) | 调用仍发生,但输入更便宜 |
它们互补,不竞争。 心智模型是一条流水线,每个请求依次过滤:
graph LR
A["请求"] --> B{"语义缓存
命中?"}
B -->|"命中"| C["直接返回
跳过 LLM"]
B -->|"未命中"| D["模型路由
选最便宜的能干模型"]
D --> E["Prompt Caching
折扣静态前缀"]
E --> F["LLM 调用"]一条贯穿全文的铁律:所有 caching 只折扣「输入」侧,输出 token 永远原价。 记住这句,能帮你避开一半的算错账。
二、板斧一:Prompt Caching(前缀缓存)
机制:Provider 缓存 prompt 前缀的 KV attention 状态。同样的前缀字节再来,从缓存读而不重算。这是前缀缓存,顺序至关重要——前缀里差一个 token 就整段 miss。
两家做法不同:
| Anthropic | OpenAI | |
|---|---|---|
| 触发 | 手动标 cache_control: {type: ephemeral} | 自动,零配置 |
| 折扣(read) | 0.1x(省 90%) | 最高 0.1x(省 90%) |
| 写入费(write) | 5min 1.25x / 1hr 2x | GPT-5.6+ 1.25x |
| 最小 token | 多为 1024 | 1024 |
| TTL | 5 分钟或 1 小时可选 | 5-10 分钟不活跃后清 |
结构铁律:静态内容放前面(tools → system → few-shot),动态内容放最后。因为前缀匹配是从头逐字节比的,把每次都变的时间戳、随机 ID 放前面,会让整个缓存静默失效。
回本数学(Anthropic 官方口径):5min 缓存,一次 read 就回本(1.25x write + 0.1x read = 1.35x < 两次未缓存的 2x)。
看计算器代码——多轮对话里,静态前缀只写一次、之后每轮读缓存:
const base = 3.0 // base input $/MTok
const staticTok = 4000 // system+tools+few-shot 静态前缀
const dynamicTok = 500 // 每轮变化的部分
const turns = 10
// 无缓存:每轮都全价重算 静态+动态
noCache := float64(turns) * float64(staticTok+dynamicTok) / 1e6 * base
// 有缓存:第1轮写(1.25x静态)+动态全价;之后每轮 读(0.1x静态)+动态全价
writeCost := float64(staticTok)/1e6*base*1.25 + float64(dynamicTok)/1e6*base
readPerTurn := float64(staticTok)/1e6*base*0.1 + float64(dynamicTok)/1e6*base
withCache := writeCost + float64(turns-1)*readPerTurn
跑出来 10 轮对话省 70%。但警告:命中率太低时,Anthropic 的 write 溢价会让你反而更贵——一直付膨胀的写入费却没有足够的读来摊销。命中率低于 40% 通常是结构问题(动态内容混进了前缀)。
最有效:多轮 Agent(system+tools 反复出现)、长系统提示、稳定 context 的 RAG、工具定义。Agent 的工具 schema 几乎每次相同,命中率常超 60%。
三、板斧二:语义缓存(Semantic Cache)
机制:按含义缓存而非精确字符串。把 query 做 embedding → 向量相似度检索历史 query → 相似度超阈值就直接返回缓存响应,完全跳过 LLM。"pro 版多少钱"和"pro 版的价格是多少"应该命中同一条缓存。
和 Prompt Caching 的本质区别:Prompt Caching 让调用更便宜,语义缓存让调用不发生。
demo 用 Jaccard 词汇重叠做教学 proxy(真实系统用 embedding 余弦相似度,Jaccard 与 cosine 相关 r≈0.79,能追趋势但会系统性低估语义):
// jaccard 词汇重叠度 = 交集/并集。是语义相似的保守下界。
func jaccard(a, b map[string]bool) float64 {
inter := 0
for w := range a {
if b[w] { inter++ }
}
union := len(a) + len(b) - inter
return float64(inter) / float64(union)
}
跑起来有个绝佳的教学瞬间:
[HIT ] pro 版 多少 钱 → Pro 版每月 99 元(跳过 LLM)
[MISS] pro 版 的 价格 是 多少 → 调用 LLM……
第 2 条明明是同一个问题,Jaccard 却漏判了。 这正是"为什么真实系统必须用 embedding 而非词汇重叠"的活教材——Jaccard 处理不了同义词、改写、词序、词形变化。
阈值调优是核心权衡:太松 → 服务错误答案(false hit),太严 → 命中率低。保守起步(距离 0.1-0.2),instrument false-hit 率,再逐步放松。
适用:高重复的 FAQ 类查询。危险:个性化(不同用户同问题应有不同答案)、时间敏感、agentic 多步任务——这些场景乱命中缓存会给出错误的陈旧答案,比不缓存危害更大。
四、板斧三:模型路由(Model Router)
机制:把每个 query 路由到"能搞定它的最便宜模型"。基础是一个生产事实——60-75% 的查询是简单的,只有 5-15% 是难的,让便宜模型接住大多数就能大幅降本。
三种范式:分类器(BERT/embedding 预测难度)、级联(先试便宜的,低置信度再升级)、LLM-as-router(GPT-5 内置的就是这种)。
demo 用最简的复杂度启发式:
// route 命中「难」信号就上强模型,否则便宜模型接住。
func route(query string) model {
hardSignals := []string{"写代码", "证明", "设计架构", "分析原因", "debug", "推导"}
for _, sig := range hardSignals {
if strings.Contains(query, sig) {
return strong
}
}
if len([]rune(query)) > 40 { // 长问题往往更复杂
return strong
}
return cheap
}
跑出来路由后省 55%。代表性数字:RouteLLM(LMSYS,已被 ICLR 2025 收录)在 MT Bench 上降本 85%、保持 95% GPT-4 质量,只把 14% 的 query 送给强模型。
关键 caveat:那个 85% 是 benchmark-specific,不是普适保证。真实路由必须配质量监控闭环——否则你会得到"dashboard 好看但用户在流失"。生态里 RouteLLM/Not Diamond/Martian 做决策,LiteLLM/Portkey/OpenRouter 这类 gateway 已内置路由,起步先用 gateway 的即可。
五、动手:三招一起跑
配套代码在 cost-reduction,完全离线,go run . 直接出三招的省钱账:
板斧一 语义缓存:命中 1/3,省 1 次调用(并演示 Jaccard 漏判改写)
板斧二 模型路由:全用强模型 $0.030 → 路由后 $0.0135,省 55%
板斧三 前缀缓存:10 轮对话 $0.135 → $0.0408,省 70%
三个 demo 都是合理的教学近似,但各有边界要点明:Jaccard 是 embedding 的保守下界(会漏改写)、启发式路由是训练分类器的最简版、缓存计算器用的是真实乘数但要体现回本点。
六、默认降本 Playbook(按投入产出比排序)
不要三招一起上,按这个顺序做:
- 先开 Prompt Caching(最低成本):OpenAI/Gemini 自动/隐式零改动就有 90% 输入折扣;Anthropic 手动标 breakpoint,把
tools→system→few-shot放前面、动态放后。 - 再上 Model Routing(省 30-50%):先用级联或启发式分类,用 gateway 内置路由起步,需要更精再上 RouteLLM/Not Diamond。
- 最后加 Semantic Cache:只对高重复、非个性化、非时间敏感的查询层加,保守阈值起步,监控 false-hit。
- 横向补一刀:agentic 场景优先"减少 agentic 轮次 + 缩小 context"(详见第 04 篇),并按层 instrument 命中率——谁监控,谁才真拿到定价表承诺的省钱(详见第 09 篇)。
小结
Agent 降本的正确姿势是三招叠成流水线:语义缓存在应用层消除整个调用(但只对高重复非个性化查询,且真实系统要用 embedding 而非词汇重叠),模型路由把请求送到最便宜的能干模型(60-75% 查询是简单的,但要配质量监控),Prompt Caching 在 Provider 层折扣静态前缀(静态在前动态在后,命中率太低会因 write 溢价反而更贵)。按 Caching → Routing → Semantic Cache 的顺序上,单招 20-30%、三招 50-70%。记住那句最省事的铁律——所有缓存只省输入,输出永远原价。
参考资料
| 资料 | 来源 |
|---|---|
| Anthropic Prompt Caching | platform.claude.com/docs/en/build-with-claude/prompt-caching |
| OpenAI Prompt Caching | developers.openai.com/api/docs/guides/prompt-caching |
| Gemini Context Caching | cloud.google.com/vertex-ai/generative-ai/docs/context-cache |
| RouteLLM(LMSYS,ICLR 2025) | lmsys.org/blog/2024-07-01-routellm / arXiv:2406.18665 |
| GPTCache | github.com/zilliztech/GPTCache |
| vCache(每条缓存自适应阈值) | arXiv:2603.03301 |
| Introducing GPT-5(内置 router) | openai.com/index/introducing-gpt-5 |
| 本篇配套代码 | github.com/hua-ri/agent-learning /main/cost-reduction |